spark streaming 接收kafka消息之五 -- spark streaming 和 kafka 的對接總結

Spark streaming 和kafka 處理確保消息不丟失的總結 接入kafka 我們前面的1到4 都在說 spark streaming 接入 kafka 消息的事情。講了兩種接入方式，以 ...

spark streaming 接收kafka消息之一 -- 兩種接收方式

源碼分析的spark版本是1.6。 首先，先看一下 org.apache.spark.streaming.dstream.InputDStream 的 類說明： 翻譯如下： ...

spark streaming 接收kafka消息之四 -- 運行在 worker 上的 receiver

使用分布式receiver來獲取數據使用 WAL 來實現 At least once 操作： conf.set("spark.streaming.receiver.writeAheadLog.enab ...